[アップデート] Glue Studio のジョブエディター実行タブでリアルタイムログが表示出来るようになりました

いわさです。

先日のアップデートで、Glue ジョブのモニタリングオプションである「継続的なログ記録」で出力されるログが Glue Studio のジョブ実行タブでリアルタイムに表示されるようになったとアナウンスがありました。

「あれ、出来なかったんだっけ...」と思ってしまうような小さなアップデートですが、過去のドキュメントやスクリーンショットなどを見直してみたところ、どうやら旧のジョブ画面ではリアルタイムでウォッチ出来ていたのですが、Glue Studio の新ジョブ画面だと出来ていなかったようです。

今回過去の情報なども含めて少し整理しつつ、動作を見てみたので紹介します。

出来るようになったこと

前提として Glue ジョブではモニタリングオプションのひとつとして「継続的なログ記録」というものがあります。
こちらの機能の詳細については以下で詳しく紹介されていまして、通常は CloudWatch Logs へ/aws-glue/jobs/errorと/aws-glue/jobs/outputが出力されますが、継続的なログ記録を有効化すると追加で/aws-glue/jobs/logs-v2配下へドライバーログなどが出力されます。

この機能はジョブ詳細の Advanced Properties から有効化することが出来ますが、 設定自体は以前からありました。（enable-continuous-cloudwatch-log）
そのため、今回は AWS CLI などでもこの件に関する更新はありません。あくまでマネジメントコンソールのみのアップデートとなっています。

そして、このままジョブ詳細画面から実行すると Runs タブで、実行ステータスなどを確認することが出来ます。
言われてみれば少し前にジョブ実行したときは、右上のリフレッシュボタンを何度も押していたような押していなかったような...

ジョブ実行後に CloudWatch continuous logs が表示される

ジョブが開始されると次のように CloudWatch continuous logs ペインが表示されます。

その後、その後もニアリアルタイムでログが出力されていきます。

ちなみに、ジョブ完了後に画面をリロードすると Runs タブでは完了したジョブのログを確認することは出来ませんでした。
この場合は CloudWatch Logs コンソールで確認する必要があるようです。

ただし、モニタリングの対象ジョブ実行履歴の詳細画面では、次のように確認することが出来ました。

こちらでは、以前に実行したジョブに関しても継続的なログ記録が有効になっている状態で実行されたジョブについてはジョブ実行履歴画面からドライバーログを確認することが出来ました。

旧ジョブ画面では以前から出来た

本件については公式ドキュメントに既に機能について記述されています。
このドキュメントは最近作成されたものではないようです。

ただ、ドキュメントの中身をよく見てみると、旧ジョブ画面について説明していることがわかります。
冒頭の記事にも記載があったように、旧画面では以下のようにリアリタイムでドライバーログが出力されています。

さいごに

本日は Glue Studio のジョブエディター実行タブでリアルタイムログが表示出来るようになったらしいので確認してみました。

今回、過去どうだったのかを調べるのに以下の Web サイトなどを参考にさせて頂きました。